Dance Dance Generation: Motion Transfer for Internet Videos

This work presents computational methods for transferring body movements from one person to another with videos collected in the wild. Specifically, we train a personalized model on a single video from the Internet which can generate videos of this target person driven by the motions of other people. Our model is built on two generative networks: a human (foreground) synthesis net which generates photo-realistic imagery of the target person in a novel pose, and a fusion net which combines the generated foreground with the scene (background), adding shadows or reflections as needed to enhance realism. We validate the the efficacy of our proposed models over baselines with qualitative and quantitative evaluations as well as a subjective test.

この作品は、野外で収集されたビデオを使用して、ある人から別の人に体の動きを転送するための計算方法を示しています。 具体的には、インターネットからの単一のビデオでパーソナライズされたモデルをトレーニングし、他の人々の動きに駆り立てられてこのターゲット人物のビデオを生成することができます。 私たちのモデルは2つの生成的なネットワーク上に構築されています：小説のポーズで対象人物の写実的なイメージを生成する人間（前景）合成ネットと影または影を付け加える生成された前景を結合するフュージョンネット 写実性を高めるために必要に応じて反射。 主観的テストと同様に定性的および定量的評価を用いて我々はベースラインに対する我々の提案したモデルの有効性を検証する。